2023-04-15 2023-07-31 Container Runtime an hour read (About 7407 words)

「 Kata Containers 」源码走读 — virtcontainers/network

based on 3.0.0

Endpoint

src/runtime/virtcontainers/endpoint.go

Endpoint 代表了某一个物理或虚拟网络设备的基础结构，具体包括：veth、ipvlan、macvlan、macvtap、physical、vhostuser、tap 和 tuntap 8 种实现方式。借助 github.com/vishvananda/netlink 将抽象 endpoint 类型转变成具体的 netlink 类型，配置后回写到 endpoint 的具体属性（例如 netPair 等）后，交由 hypervisor 创建或配置该设备信息。

// VethEndpoint gathers a network pair and its properties.
type VethEndpoint struct {
	// 固定为 virtual
	EndpointType EndpointType

	// idx 为 VM 中 endpoint 设备的递增序号
	// NetPair.TapInterface.Name 为逻辑网桥名称，固定为 br<idx>_kata
	// NetPair.TapInterface.TAPIface.Name 为 tap 设备名称，固定为 tap<idx>_kata
	// NetPair.VirtIface.Name 为 endpoint 设备名称，默认为 eth<idx>
	// NetPair.VirtIface.HardAddr 为随机生成的 MAC 地址
	// NetPair.NetInterworkingModel 为 [runtime].internetworking_model，可选有 macvtap 和 tcfilter（默认）
	NetPair NetworkInterfacePair
	
	PCIPath vcTypes.PciPath

	// endpoint 设备属性信息
	EndpointProperties NetworkInfo

	// endpoint 设备 inbound/outbound 限速标识
	RxRateLimiter bool
	TxRateLimiter bool
}

// IPVlanEndpoint represents a ipvlan endpoint that is bridged to the VM
type IPVlanEndpoint struct {
	// 固定为 ipvlan
	EndpointType EndpointType

	// idx 为 VM 中 endpoint 设备的递增序号
	// NetPair.TapInterface.Name 为逻辑网桥名称，固定为 br<idx>_kata
	// NetPair.TapInterface.TAPIface.Name 为 tap 设备名称，固定为 tap<idx>_kata
	// NetPair.VirtIface.Name 为 endpoint 设备名称，默认为 eth<idx>
	// NetPair.VirtIface.HardAddr 为随机生成的 MAC 地址
	// NetPair.NetInterworkingModel 为 tcfilter
	NetPair NetworkInterfacePair
	
	PCIPath vcTypes.PciPath
	
	// endpoint 设备属性信息
	EndpointProperties NetworkInfo

	// endpoint 设备 inbound/outbound 限速标识
	RxRateLimiter bool
	TxRateLimiter bool
}

// MacvlanEndpoint represents a macvlan endpoint that is bridged to the VM
type MacvlanEndpoint struct {
	// 固定为 macvlan
	EndpointType EndpointType

	// idx 为 VM 中 endpoint 设备的递增序号
	// NetPair.TapInterface.Name 为逻辑网桥名称，固定为 br<idx>_kata
	// NetPair.TapInterface.TAPIface.Name 为 tap 设备名称，固定为 tap<idx>_kata
	// NetPair.VirtIface.Name 为 endpoint 设备名称，默认为 eth<idx>
	// NetPair.VirtIface.HardAddr 为随机生成的 MAC 地址
	// NetPair.NetInterworkingModel 为 [runtime].internetworking_model，可选有 macvtap 和 tcfilter（默认）
	NetPair NetworkInterfacePair

	PCIPath vcTypes.PciPath

	// endpoint 设备属性信息
	EndpointProperties NetworkInfo

	// endpoint 设备 inbound/outbound 限速标识
	RxRateLimiter bool
	TxRateLimiter bool
}

// MacvtapEndpoint represents a macvtap endpoint
type MacvtapEndpoint struct {
	// 固定为 macvtap
	EndpointType EndpointType

	// 元素数量等于 [hypervisor].default_vcpus 的 /dev/tap<EndpointProperties.Iface.Index> 文件句柄
	VMFds    []*os.File
	// 元素数量等于 [hypervisor].default_vcpus 的 /dev/vhost-net 文件句柄
	VhostFds []*os.File

	PCIPath vcTypes.PciPath

	// endpoint 设备属性信息
	EndpointProperties NetworkInfo

	// endpoint 设备 inbound/outbound 限速标识
	RxRateLimiter bool
	TxRateLimiter bool
}

// PhysicalEndpoint gathers a physical network interface and its properties
type PhysicalEndpoint struct {
	// 固定为 physical
	EndpointType EndpointType
    
	// 根据 IfaceName 解析获得，类比于 ethtool -i <IfaceName> 结果中的 bus-info
	BDF string

	// 软链接 /sys/bus/pci/devices/<BDF>/driver 指向实体文件路径的基础
	Driver string

	// 由 /sys/bus/pci/devices/<BDF>/vendor 和 /sys/bus/pci/devices/<BDF>/device 文件内容拼接而成
	VendorDeviceID string

	PCIPath vcTypes.PciPath

	// endpoint 设备属性信息
	IfaceName          string
	HardAddr           string
	EndpointProperties NetworkInfo
}

// VhostUserEndpoint represents a vhost-user socket based network interface
type VhostUserEndpoint struct {
	// 固定为 vhost-user
	EndpointType EndpointType

	// Path to the vhost-user socket on the host system
	// 根据 endpoint 设备的所有 IP，获得一个存在的 /tmp/vhostuser_<IP>/vhu.sock 路径
	SocketPath string
	
	PCIPath vcTypes.PciPath

	// endpoint 设备属性信息
	HardAddr           string
	IfaceName          string
	EndpointProperties NetworkInfo
}

// TapEndpoint represents just a tap endpoint
type TapEndpoint struct {
	// 固定为 tap
	EndpointType EndpointType
    
	// TapInterface.Name 为 endpoint 设备名称，默认为 eth<idx>
	// TapInterface.TAPIface.Name 为 tap 设备名称，固定为 tap<idx>_kata
	TapInterface TapInterface
	
	PCIPath vcTypes.PciPath
    
	// endpoint 设备属性信息
	EndpointProperties NetworkInfo
    
	// endpoint 设备 inbound/outbound 限速标识
	RxRateLimiter bool
	TxRateLimiter bool
}

// TuntapEndpoint represents just a tap endpoint
type TuntapEndpoint struct {
	// 固定为 tuntap
	EndpointType EndpointType
	
	// idx 为 VM 中设备的递增序号
	// TuntapInterface.Name 为 endpoint 设备名称，默认为 eth<idx>
	// TuntapInterface.TAPIface.Name 为 tap 设备名称，固定为 tap<idx>_kata
	// TuntapInterface.TAPIface.HardAddr 为 tap 设备 MAC 地址
	TuntapInterface TuntapInterface

	// idx 为 VM 中设备的递增序号
	// NetPair.TapInterface.Name 为逻辑网桥名称，固定为 br<idx>_kata
	// NetPair.TapInterface.TAPIface.Name 为 tap 设备名称，固定为 tap<idx>_kata
	// NetPair.VirtIface.Name 为 endpoint 设备名称，默认为 eth<idx>
	// NetPair.VirtIface.HardAddr 为随机生成的 MAC 地址
	// NetPair.NetInterworkingModel 为 [runtime].internetworking_model，可选有 macvtap 和 tcfilter（默认）
	NetPair NetworkInterfacePair

	PCIPath vcTypes.PciPath

	// endpoint 设备属性信息
	EndpointProperties NetworkInfo
    
	// endpoint 设备 inbound/outbound 限速标识
	RxRateLimiter bool
	TxRateLimiter bool
}

// NetworkInterfacePair defines a pair between VM and virtual network interfaces.
type NetworkInterfacePair struct {
	// 取决于具体 endpoint 实现，内容有所不同
	TapInterface
	VirtIface NetworkInterface

	// [runtime].internetworking_model，可选的有 macvtap 和 tcfilter（默认）
	NetInterworkingModel
}

NetworkInterfacePair 即 netpair（例如 br0_kata），描述了 tap 设备（TapInterface）和 veth 设备（VirtIface，即位于容器命名空间内部的 veth-pair 设备，如 eth0）的数据结构（netPair 并非真实设备，而是一个用于描述如何连通容器网络和 VM 网络的逻辑网桥）。

// NetworkInfo gathers all information related to a network interface.
// It can be used to store the description of the underlying network.
type NetworkInfo struct {
	Iface     NetlinkIface
	DNS       DNSInfo
	Link      netlink.Link
	Addrs     []netlink.Addr
	Routes    []netlink.Route
	Neighbors []netlink.Neigh
}

NetworkInfo 描述 endpoint 设备的通用属性信息，通过相关 Golang 系统调用库获得。

Endpoint 中声明的 Properties、Type、PciPath、SetProperties、SetPciPath、GetRxRateLimiter、SetRxRateLimiter、GetTxRateLimiter 和 GetTxRateLimiter 均为参数获取与赋值，无复杂逻辑，不作详述。
其中，Name、HardwareAddr 和 NetworkPair 视不同的 endpoint 实现，取值字段有所不同，具体为：

Endpoint	Name	HardwareAddr	NetworkPair
VethEndpoint	NetPair.VirtIface.Name	NetPair.TAPIface.HardAddr	NetPair
IPVlanEndpoint	NetPair.VirtIface.Name	NetPair.TAPIface.HardAddr	NetPair
MacvlanEndpoint	NetPair.VirtIface.Name	NetPair.TAPIface.HardAddr	NetPair
MacvtapEndpoint	EndpointProperties.Iface.Name	EndpointProperties.Iface.HardwareAddr	—
PhysicalEndpoint	IfaceName	HardAddr	—
VhostUserEndpoint	IfaceName	HardAddr	—
TapEndpoint	TapInterface.Name	TapInterface.TAPIface.HardAddr	—
TuntapEndpoint	TuntapInterface.Name	TapInterface.TAPIface.HardAddr	NetPair

Attach

添加 endpoint 设备到 VM 中

「 Kata Containers 」源码走读 — virtcontainers/network

Endpoint

Attach

VethEndpoint、IPVlanEndpoint、MacvlanEndpoint、TuntapEndpoint

MacvtapEndpoint

PhysicalEndpoint

VhostUserEndpoint

TapEndpoint

Detach

VethEndpoint、IPVlanEndpoint、MacvlanEndpoint

MacvtapEndpoint、VhostUserEndpoint

PhysicalEndpoint

TapEndpoint、TuntapEndpoint

HotAttach

VethEndpoint

IPVlanEndpoint、MacvlanEndpoint、MacvtapEndpoint、PhysicalEndpoint、VhostUserEndpoint

TapEndpoint

TuntapEndpoint

HotDetach

VethEndpoint

IPVlanEndpoint、MacvlanEndpoint、MacvtapEndpoint、PhysicalEndpoint、VhostUserEndpoint

TapEndpoint、TuntapEndpoint

Network

xConnectVMNetwork

xDisconnectVMNetwork

addSingleEndpoint

AddEndpoints

RemoveEndpoints

Author

Posted on

Updated on

Licensed under

Links

Catalogue

Categories